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摘 要 : 移动 群 智 感 知 数据 包含 的 图 像 和 时 空 情境 信息 可 用 于 检测 街景 图 像 变 化 ， 但 是 群 智 感知 数据 通常 是 低 质 和 
不 规范 的 。 为 了 准确 检测 街景 发 生 的 变化 ， 主 要 解决 由 拍摄 视角 差异 引起 的 数据 低 质 问题 。 首 先 ， 针 对 大 视差 问题 
采用 图 像 配 准 方法 初步 对 齐 图 像 并 提取 出 配 准 特征 点 ; 然后 , 基于 配 准 特征 点 .分布 从 图 像 中 提取 感 兴趣 区 域 ; 第 三 ， 
针对 差 值 图 像 的 误 检 内 容 ， 提 出 基于 面积 和 多 特征 点 的 筛选 法 去 除 误 检 区 域 ; 最 后 ， 结 合 边缘 检测 和 超 像素 分 割 算 
法 提取 完整 的 变化 对 象 。 将 所 提 方 法 与 MDFNet 方法 进行 比较 , 实验 结果 显示 : 当街 景 发 生变 化 时 ， 所 提 方 法 的 Fl1- 
Measure 值 为 55.8%， 增 长 696, RŽ X 10.896, EIR 2490; 当街 景 无 变化 时 ， 所 提 方 法 的 错误 率 为 2.8%， 下 降 
28%。 
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Change detection method of street view image based on crowdsensing 


— Zhong Weizhao*?,Chen Huihui^* 
— (a. Dept. of Electromechanical Engineering & Automation, b. Dept. of Electronics & Information Engineering, FoShan 
University, FoShan Guangdong 528225, China) 


Abstract: The images and spatiotemporal contextual information contained in mobile crowdsensing data can be used to detect 
changes in street view images, but crowdsensing data are usually low-quality and non-standard. In order to accurately detect 
the changes in the street view, this paper mainly solves the problem caused by low-quality datum which have been collected 
from different shooting perspectives. First, for the problem of large parallax, the image registration method is used to initially 
align the images and extract the registration feature points; then, the region of interest is extracted from the image based on 
the distribution of the registration feature points; third, aiming at the error detection content of the difference image, a 
screening method based on area and multi-feature points is proposed to remove the error detection region; finally, the complete 
changing object is extracted by combining edge detection and superpixel segmentation algorithm. Compared with MDFNet 
method, when the image pairs change, the F1-measure value and error rate of this method are 55.8% and 10.896, and they 
have increased by 6% and decreased by 24% respectively. When there are no changes, the error rate of this method is only 
2.8% and it is reduced by about 28%. 
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0 引言 差异 进行 检测 。 基 于 群 智 感知 手段 收集 街景 数据 比 街景 车 更 
B 灵活 ， 但 是 ， 照 片 受 角度 差别 、 光 线 差 别 等 因素 影响 ， 导 致 
随 着 我 国 城乡 建设 的 发 展 ， 道 路 建设 日 新 月 异 ， 人 们 对 数据 集 质量 比较 低 ， 因 此 ， 根 据 图 像 差异 判断 街景 图 像 的 变 


piss 


出 行 辅助 工具 软件 的 需求 越 来 越 丰富 ， 各 类 电子 地 图 给 人 ”化 比较 困难 。 首 先 ， 由 于 采集 人 位 置 不 固定 ， 两 张 不 同 的 街 
门 的 出 行 带 来 便捷 。 目 前 人 们 的 出 行 已 经 基本 依赖 于 电子 地 。 景 图 像 可 能 是 由 于 视角 差异 引起 的 图 像 差异 ， 从 而 导致 判断 
图 。 在 电子 地 图 的 基础 上 ， 众 歌 街景 、 百 度 街 景 等 利用 虚拟 。 ”失效 。 其 次 ,图像 的 差异 有 具体 表现 在 像素 上 ， 而 街景 变化 以 
现实 技术 将 街道 全 景 照 片 映射 到 电子 地 图 ， 让 人 们 足 不 出 户 ” 物体 (对 象 ) 为 单位 出 现 或 者 消失 ， 需 要 从 像素 级 别 的 差异 信 
要 可 以 通过 电子 地 图 和 街景 游 遍 全 球 。 息 中 扩展 并 获取 具体 的 变化 对 象 。 

街景 不 但 为 人 们 的 出 行 提供 了 便利 和 安全 保障 ， 比 如 路 为 了 解决 以 上 两 个 问题 ， 本 文 的 贡献 包括 : a) 提 出 端 到 


面 缺陷 预警 [4， 也 为 城市 化 建设 提供 了 展示 平台 外 。 专 业 街 ”端的 针对 大 视差 街景 图 像 对 变化 对 象 检测 的 算法 框架 ， 通 过 
景 车 是 街景 图 像 采 集 和 更 新 的 主要 工具 ， 但 定时 更 新 街景 的 。 “引入 图 像 配 准 方法 解决 视差 问题 ， 并 提出 基于 多 特征 点 空间 
工作 量 非 党 大。 移动 群 智 感知 使 用 人 们 携带 的 移动 智能 设备 “分布 信息 的 消除 错误 检测 信息 的 算法 ，b) 根 据 物体 边界 的 连 
(例如 , 智能 手机 ) 来 感知 和 收集 信息 , 数据 采集 成 本 低 且 覆盖 续 性 ,结合 边缘 检测 和 超 像素 分 割 算法 提取 具体 的 变化 对 象 
度 广 , 可 用 于 街景 图 像 更 新 外、 路 况 监测 5g 环境 质量 检测 等 。 ”oj 以 校园 为 测试 场景 , 采集 并 构建 了 校园 街景 图 像 数据 集 , 通过 
基于 移动 群 智 感知 的 街景 变化 检测 具备 很 好 的 时 空 优势 ， 图 “对比 最 新 的 相关 工作 ， 证 明 方法 的 有 效 性 。 
像 采 集成 本 低 、 更 新 快 且 范围 广 &9， 能 够 实现 街景 地 图 的 短 

周期 更 新 ， 但 是 ， 群 智 感知 数据 存在 低 质 、 宛 余 、 差 异 大 、 1 MAIM 
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不 规范 等 缺点 四。 街景 变化 的 检测 方法 已 有 大 量 的 研究 0" 汶 。 根据 街景 变 
街景 变化 情况 通常 通过 对 比 拍 于 不 同时 间 的 街景 照片 的 ”化 类 型 、 方 法 和 用 途 ， 可 以 将 它们 分 类 为 二 维 图 像 变 化 检测 
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和 三 维 场景 建 模 检 测 。 产生 的 歧义 ， 以 便 估 计 变 化 的 3D 位 置 P1。 这 些 方法 是 为 维 
二 维 图 像 变化 检测 是 主要 的 街景 变化 检测 方法 00-19。 街 护 /更 新 现 有 的 三 维 城市 模型 而 设计 的 。 
景 变 化 的 传统 检测 方法 是 根据 在 不 同时 间 捕 获 的 一 组 图 像 创 还 有 另 一 种 类 型 的 研究 ， 使 用 大 量 街景 的 多 视图 图 像 并 
建 街景 的 外 观 模型 ， 并 将 其 与 新 捕获 的 查询 图 像 进行 比较 以 通过 运动 结构 的 方法 创建 其 时 空 模 型 。 有 研究 利用 几 十 年 来 
检测 变化 。 这 类 研究 的 主要 关注 点 是 如 何 处 理 不 相关 的 外 观 白 摄 的 大 量 城市 图 像 ， 实 现 特定 类 型 的 时 间 推 断 ， 例 如 估计 
变化 ， 如 光照 差异 00。 为 了 能 从 不 相关 的 外 观 变化 中 更 准确 建筑 的 建造 时 间 忆 2 约 。 在 思想 上 ， 他 们 的 方法 都 是 使 用 互联 
地 检测 出 真实 的 变化 ，Zhao 等 0 提出 了 一 种 挛 生 编码 器 - 解 网 图 像 数 据 集 来 检测 场景 的 变化 ， 如 广告 和 建筑 墙 上 绘画 的 
码 器 的 网 络 结构 ， 实 现 语义 级 别 的 变化 检测 ;Chen 等 021 在 变化 。 假 设 有 足够 数量 的 场景 多 视图 图 像 可 用 ， 这 方法 可 以 
编码 器 -解码 器 的 网 络 结构 上 添加 了 动态 感知 时 间 注 意 模块 ， 使 用 SFM(Structure From Motion) 来 重建 场景 的 三 维 模型 。 
结合 水 平和 垂直 的 并 发 注意 模块 对 检测 结果 进行 精细 化 ; 基于 群 智 感知 的 城市 街景 图 像 更 新 主要 通过 手机 拍摄 的 
也 有 研究 提出 从 不 同 的 网 络 层 中 提取 特征 进行 融合 ， 检 测 从 照片 差异 识别 街景 的 变化 ， 也 是 通过 比较 由 参 与 者 在 不 同时 
整体 到 局 部 的 变化 区 域 031。 间 拍 摄 的 街景 图 像 来 检测 街景 变化 。 本 文 提 出 的 方法 属于 二 
在 视角 差异 的 问题 上 ， 也 有 大 量 的 研究 。Sakurada $04 维 图 像 变化 检测 方法 ， 区 别 于 传统 的 检测 方法 和 现 有 的 神经 
提出 了 一 种 利用 卷 积 神经 网 络 特征 与 超 像素 分 割 相 结合 的 变 网 络 方法 ， 本 文 方法 在 不 进行 大 量 的 数据 训练 和 语义 分 割 的 
化 检测 方法 。 其 他 基于 神经 网 络 的 检测 方法 还 有 : 结合 卷 积 情况 下 ， 通 过 多 个 图 像 处 理 模块 ， 检 测 视差 街景 图 像 对 的 变 
网 络 和 反 卷 积 网 络 的 多 层 特征 融合 实现 不 同 尺度 变化 信息 获 化 内 容 ， 并 从 中 提取 具体 的 变化 对 象 。 
取 的 ChangeNet05， 结 合 语义 分 割 模型 和 图 割 的 街景 影像 变 4 ner: 
化 检测 方法 09; 通过 融合 多 重 差异 特征 以 获得 不 同 尺度 变化 2 ”街景 变化 检测 算法 
信息 的 MDFNet(Multiple Difference Features Network)! Jy 2.44 算法 框架 
法 ; 使 用 光 流 估计 法 配 准 图 像 对 得 到 掩 码 图 像 ， 再 结合 原 图 街景 变化 的 检测 主要 通过 对 拍照 情境 (包括 位 置 和 拍照 
像 结 构 信 息 得 到 变化 区 域 的 Mask-CDNet(Mask based Pixel 角度 ) 相 似 的 两 张 照片 进行 差异 检测 ， 分 为 4 个 步骤 , 包括 图 
Change Detection Network)Il8] 。 像 预 处 理 、 变 化 区 域 提 取 、 变 化 区 域 筛选 和 变化 区 域 扩 展 ， 
除了 视角 差异 外 , 为 了 处 理 放 缩 、 旋 转 引 起 的 图 像 差 异 ， 流程 图 如 图 1 所 示 。 
Guo 等 提出 了 全 卷 积 挛 生 度量 网 络 CosimNet(fully a) 图 像 预 处 理 。 包 括 使 用 尺寸 重 构 把 图 像 对 转换 为 同一 
Convolutional Siamese metric Network), JEMA T p (Ei E45 尺寸 ; 使 用 直方 图 规定 化 P51 使 图 像 对 的 灰 度 直方 图 一 致 ; 使 
失 惩 罚 噪声 变化 09。 图 像 配 准 算法 对 齐 街景 图 像 对 ， 本 文 以 基于 SIFT(Scale- 
在 三 维 领 域 中 的 也 有 很 多 解决 方法 PR" 当 。 它们 采集 多 组 Invariant Feature Transform) 特 征 点 的 APAP 算法 P9 为 例 ; 提取 涵 
街景 图 像 构建 多 视图 立体 (Multi View Stereo，MVS)。 通 过 对 盖 所 有 配 准 特征 点 的 最 小 矩形 区 域 作为 感 兴趣 区 域 ROL， 
比 新 模型 和 原始 模型 之 间 的 差异 来 检测 MVS 的 变化 ， 并 局 Region of Interest) 进 行 研究 ， 减 少 不 必 要 的 计算 量 。 
部 更 新 MVS。 这 种 比较 的 准确 性 取决 于 可 获得 的 MVS bE ROI 中 提取 变化 区 域 。 包 括 使 用 图 像 减 法 得 到 二 值 
的 质量 。 场 景 的 三 维 模型 通常 通过 使 用 三 维 传感器 而 不 是 差异 图 ， 使 用 基于 阅 值 的 多 种 子 生长 法 提取 天 空 区 域 ， 解 决 
通 相机 来 创建 。 有 的 研究 将 多 传感器 融合 的 即时 定位 后 T. 天 空 区 域 多 变 的 问题 R71; 使 用 孔洞 填充 法 解决 配 准 造成 的 像 
构建 (SLAM，Simultaneous Localization And Mapping) 和 快速 素 缺 失 问 题 ， 使 用 形态 学 操作 把 变化 内 容 分 成 多 个 子 区 域 提 
密集 三 维 重建 流水 线 连 接 起 来 ， 将 粗 配 准 的 图 像 对 提供 给 取出 来 。 
DN(Deconvolutional Networks)， 用 于 像素 方向 的 变化 检测 中。 c) 对 变化 区 域 进 行 第 选 。 包 括 使 用 面积 筛选 法 滤 除 变化 
的 研究 通过 3D 模型 将 图 像 重 新 投影 到 另 一 个 图 像 上 来 发 内 容 像 素 的 面积 过 小 的 变化 子 区 域 ， 使 用 多 特征 点 筛选 法 滤 
现 图 像 对 之 间 的 变化 ， 并 使 用 多 个 图 像 组 合 解决 检测 过 程 中 除 较 多 特征 点 分 布 的 变化 子 区 域 。 
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图 1 变化 检测 算法 框架 图 


Fig. 1 Framework of the proposed change detection method 
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最 后 ， 扩 展 变化 区 域 ， 并 提取 完整 的 变化 对 象 。 包 括 使 (GR) 
用 边缘 检测 法 提取 变化 区 域 中 物体 的 轮廓 ， 使 用 边缘 扩展 法 


对 轮廓 进行 4 邻 域 延 伸 ， 得 到 完整 的 物体 轮廓 ， 最 后 结合 超 ed 
像素 分 割 法 3 提取 出 完整 的 变化 对 象 。 


变化 于 区 域 | [3840 DOR 


2.2 ROI 图 像 提取 图 像 提 取 图 像 提取 
ROI 图 像 提 取 目 的 在 于 从 图 像 中 分 割 出 用 于 识别 街景 变 € 
化 的 图 像 区 域 ， 并 剔除 其 余 区 域 。 因 为 没有 特征 点 分 布 的 区 e 
域 是 不 重合 的 或 者 没有 经 过 配 准 的 ， 对 这 种 区 域 操作 会 产生 pr 
大 量 不 必要 且 错 误 的 运算 。 —€— 
记 原 街景 图 像 为 7， 新 提交 图 像 为 1。 配 准 街 景 图 像 了 和 A 
f 后 ， 得 到 图 像 了 映射 变换 后 的 17。 由 于 APAP 算法 Pq 是 一 ME 
种 单 向 配 准 算法 ， 目 标 图 像 7 在 配 准 过程 中 不 发 生 形变 ， 所 图 2 变化 区 域 提取 流程 图 
以 使 用 图 像 7 中 涵盖 所 有 配 准 特征 点 的 最 小 矩形 区 域 来 提取 Fig.2 Flowchart of change extraction 
图 像 T 和 了 的 ROI， 记 作 RI 和 RR。R' 和 RR 分 别 是 I 和 了 7 的。 2.4.1 面积 筛选 法 
子 图 像 。 配 准 特 征 点 指 的 是 在 APAP 算法 中 用 于 估计 单 应 矩 本 文 关注 的 是 街景 图 像 上 的 发 生 较 大 变化 区 域 的 情况 ， 
KE H B SIFT 特征 点 。 未 严格 对 齐 的 差异 像素 点 组 成 的 细小 面积 区 域 是 可 以 忽略 的 。 
2.3 街景 变化 区 域 提取 面积 过 小 的 变化 区 域 可 以 滤 除 ， 过 滤 阔 值 记 作 (SX 
街景 变化 区 域 的 提取 过 程 分 为 四 部 分 : 图 像 求 差 、 天 空 th=0.03), 使 用 式 (4) 把 小 面积 候选 区 域 滤 除 后 , 得 到 新 的 变化 
消除 、 修 补 边 缘 和 区 域 连通 。 KRES Ca. 
经 过 配 准 后 , 图 像 尺 和 有 在 相同 位 置 的 像素 信息 可 视 为 P CRT a 
是 对 应 的 ， 求 得 的 差 值 图 像 即 为 变化 图 像 。 为 了 简化 计算 ， S(R) 
使 用 式 (D) 把 彩色 图 像 RIR 灰 度 化 ， 再 对 灰 度 化 后 的 两 幅 其 中 ，S( 虽 表示 变化 区 域 磊 的 面积 。 
图 像 求 差 ， 得 到 差 值 图 像 刀 。 使 用 大 津 法 9] 找到 最 佳 闪 值 将 2.4.2 多 特征 点 筛选 法 
图 像 D 转换 为 二 值 图 像 D'， 像 素 值 为 1 的 区 域 是 两 幅 图 像 变化 区 域内 的 图 像 匹 配 特征 点 数量 较 少 ， 因 此 ， 匹 配 特 
的 差别 区 域 ， 值 为 0 的 区 域 是 相同 区 域 。 征 点 数量 可 以 用 来 判断 变化 区 域 是 否 为 真 。 但 是 ， 变 化 区 域 
gy=0.299xr+0.578xg +0.114xb (1) 内 的 物体 缺少 匹配 特征 点 ， 仅 使 用 SFT 特征 点 在 数量 上 是 


y 


` 足 够 的 。 并 且 由 于 视角 差异 的 存在 ， 在 特征 描述 上 要 求 特 
FE 描述 子 需 具有 尺寸 不 变性 ， 因 此 ， 本 文 使 用 SIFT 和 ORB 


其 中 , mg, 六 分 别 表示 红 、 绿 、 蓝 三 通道 值 ，gy 表示 灰 度 值 。 
通常 ， 两 张 照片 采集 的 时 间 是 不 同 的 ， 不 同 的 天 气 和 云 


S 


彩 可 能 被 误 检 为 差别 区 域 ， 因 此 ， 消 除 天 空 区 域 也 是 街景 (Oriented FAST and Rotated BRIEF) 相 结合 的 多 特征 点 。 多 特 
别 检测 的 重要 工作 。 基 于 阔 值 分 割 的 种 子 生 长 法 是 提取 天 空 ” 征 点 方法 在 特征 点 数量 增多 的 同时 ,能 增加 特征 点 的 多 样 性 。 
区 域 的 常用 方法 ， 但 是 使 用 单一 种 子 点 容易 导致 分 割 出 来 的 天 ”为 了 保证 匹配 特征 点 的 质量 ， 使 用 RANSAC 算法 滤 除 错误 


空 区 域 不 完整 , 所 以 本 文 引 用 多 种 子 生 长 法 来 提取 天 空 区 域 P0。 ”匹配 的 特征 点 对 。 以 下 特征 点 提取 默认 使 用 RANSAC 算法 。 

从 图 像 R 和 R 中 提取 出 天 空 区 域 的 二 值 化 掩 膜 图 像 分 由 于 匹配 特征 点 在 图 像 中 的 空间 分 布 是 不 均匀 的 。 例 如 ， 
AIMM M, KF, 像素 值 为 1 的 区 域 是 天 空 区 域 ， 像素 ”如 果 大 量 匹 配 特 征 点 聚集 ， 那 么 一 个 包含 这 些 聚 集 特 征 点 的 
值 为 0 的 区 域 是 非 天 空 区 域 。 对 图 像 M 和 M 使 用 孔洞 填充 。 较 大 区 域内 的 匹配 特征 点 数量 仍然 非常 多 。 所 以 ， 直 接 使 


法 后 ， 使 用 式 (2) 更 新 差异 图 D' 的 天 空 部 分 的 像素 。 匹配 特征 点 数量 容易 造成 误 判 ， 因 此 ， 本 文采 用 基于 网 格 划 
D.,-|M ,-M MM VM. (2) ”分 的 特征 点 数量 比 对 方法 。 
HF, My KRR M 在 (x,y) 处 的 像素 值 。 网 格 配 准 的 图 像 于 多 特征 点 匹配 过 程 中 不 可 避免 受到 视角 差 的 影响 ， 
边缘 区 域 可 能 由 于 大 形变 后 边界 像素 缺失 导致 出 现 1 值 像素 丸 此 本 文 提 出 分 别提 取 图 像 RURÜ R 和 了 的 SIFT 特征 和 
块 ， 而 这 种 黑色 像素 块 在 图 像 相 减 后 可 能 被 当 作 变化 区 域 提 ORB 特征 并 组 成 新 的 多 特征 集合 , 在 保证 特征 点 数量 的 同时 ， 
取出 来 ， 所 以 需要 在 差异 图 D' 中 提取 变化 内 容 前 填充 像素 曾 大 了 特征 匹配 的 “视野 ”。 
缺失 的 区 域 。 填 充 方法 如 式 (3) 所 示 。 变化 区 域 集 Co 中 可 能 包含 了 未 真实 发 生变 化 的 区 域 。 针 
D, (D, -DAQU v R70 G) ”对 中 的 任 一 区 域 ,提取 该 区 域 在 图 像 RI 和 R 上 的 子 图 像 ， 
HB. Du XR D ER, y) 处 的 像素 值 。 记 为 五 和 五 。 将 子 图 像 划 分 为 5x5 的 网 格 ， 用 能 够 覆盖 到 匹 
在 二 值 差 异 图 像 D' 中 ， 可 能 出 现 变化 对 象 的 轮廓 并 不 ” 配 特 征 点 的 网 格 的 数量 的 倒数 表示 图 像 的 相似 指数 4， 如 式 


清晰 , 内 部 存在 空洞 区 域 , 相 邻 对 象 存在 牵连 的 问题 , 因此 ， ” CORRER. 

存在 黑 点 噪声 和 白 点 噪声 。 在 分 别 使 用 开 运算 和 闭 运算 后 ， T 
消除 图 像 中 的 黑白 噪声 ,得 到 多 个 无 噪声 的 连通 区 域 . 最 后 ， "ogni gm 

通过 二 值 差异 图 像 像素 的 4 邻 域 得 到 连通 区 域 ， 此 连通 区 域 。 其 中 ,gn 表示 能 够 覆盖 图 像 的 匹配 特征 点 的 网 格 数量 。 一 


即 为 初始 的 变化 区 域 ， 连 通 区 域 的 个 数 为 变化 区 域 的 个 数 ， 副 图 像 的 相似 指数 越 大 ， 说 明 它 与 另 一 幅 图 像 越 相似 。 


这 些 变化 区 域 集合 记 为 Cis UNE io a) veec, (6) 
2.4 变化 区 域 筛 选 S(c) 12 

Ci 中 存在 部 分 由 于 图 像 配 准 不 精确 造成 的 误 检 变 化 区 其 中 ,SO 表示 子 图 像 大 的 面积 如果 相似 指数 小 于 阔 值 thr, 
或 ， 需 要 消除 这 些 错 误 检 测 的 区 域 。 从 C2 移 除 该 区 域 ， 最 后 得 到 过 滤 后 的 变化 区 域 集 Cs. 

误 检 变化 区 域 类 型 主要 包括 : a) 由 于 微小 形变 带 来 的 小 2.5 变化 区 域 扩展 
面积 误 检 变化 区 域 ， b) 由 视角 差 导 致 诞 掩 问题 所 带 来 的 误 检 变化 区 域 筛选 后 ， 需 要 通过 区 域 连通 和 扩展 方法 获取 完 
变化 区 域 。 针 对 类 型 1， 使 用 变化 区 域 面 积 过 滤 法 ; 针对 类  ” 整 的 变化 区 域 ， 才 能 提取 到 发 生变 化 的 物体 。 同 一 物体 的 边 


型 2, 使 用 基于 多 特征 点 的 网 格 筛选 法 。 流 程 图 如 图 2 所 示 。 缘 像素 点 通常 具有 连续 性 和 相似 性 ， 因 此 ， 从 边缘 对 图 像 进 
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行 连通 区 域 扩展 ， 先 检测 边缘 ， 提 取 到 图 像 中 发 生变 化 的 物 。” 确 变化 区 域 面积 占 真实 变化 区 域 面积 的 比例 ; F1-Measure 值 

体 的 区 域 后 ， 采 用 超 像素 法 分 割 图 像 。 根据 精确 率 和 召回 率 计算 ; 错误 率 指 从 ROI 图 像 中 提取 的 错 
a) 使 用 Sobel 算 子 对 C3 变化 区 域 的 子 图 像 进 行 边缘 检测 ，” 误 变化 区 域 面积 占 真 实 的 非 变化 区 域 面积 的 比例 。 

得 到 梯度 值 图 。 去 除 梯度 值 过 小 的 点 后 ( 闵 值 为 80)， 梯 度 值 为 了 验证 所 提 算 法 的 有 效 性 ， 使 用 大 津 法 9 结合 图 像 差 值 法 

不 等 于 0 的 像素 点 作为 初始 边缘 点 ， 放 入 集合 G 中 。 然 后 ， ”作为 基准 方法 , 并 与 工作 相近 的 文献 [15~17] 中 所 提 方 法 进行 比较 。 


在 原 图 像 中 分 别 遍 历 G 中 的 点 ， 将 G 中 各 点 的 连通 点 分 别 34 实验 结果 分 析 
逐步 放 入 G 中 。 点 A 是 点 B 的 连通 点 需 满足 三 个 条 件 : 点 本 文 在 训练 文献 [15] 的 ChangeNet 模型 和 文献 [17] 的 
A 与 点 B 相 邻 ; 在 梯度 值 图 中 ， 点 A 处 与 点 B 处 的 梯度 值 MDFNet 模型 时 ， 除 了 使 用 文献 [17] 中 提 到 的 PCD 数据 集 ， 


zT BÉ thg( 本 文 thg=50); 以 A 为 中 心 的 21x21 个 像 ”还 添加 了 70 对 的 本 文采 集 的 图 像 ， 其 中 G1 组 图 像 42 对 ， 
素 内 没有 匹配 特征 点 。 最 后 ，G 中 的 点 组 成 的 区 域 即 为 连通 。 G2 组 图 像 28 对 ， 并 对 图 像 进行 了 数据 增 广 。 而 文献 [18] 的 
区 域 。 DeeplabV3+ 网 络 使 用 Camvid 数据 集 进行 训练 。 以 下 的 可 视 
b) 基 于 超 像 素 分 割 法 2 获取 完整 的 变化 图 像 内 容 。 首 先 ， 化 结果 从 50 epoch 的 训练 中 取 测 试 集 损 失 最 小 的 模型 所 得 。 
随机 选取 ns 个 种 子 点 ， 使 用 超 像素 法 把 原 图 像 分 割 成 ns 个 本 文 方法 在 数据 集 G1 和 G2 下 的 平均 精确 率 、 召 回 率 、 
乡 状 不 规则 的 像素 块 。 然 后 ， 针 对 集合 G 中 的 每 一 个 像素 点  Fl-measure 值 和 错误 率 的 实验 结果 统计 如 表 1 所 示 。 数 据 集 
gi， 使 用 式 (7) 计 算 gi 它 半径 为 (EX 9=10) 像 素 的 范围 内 的 ” G2 中 的 图 像 对 未 发 生变 化 ， 精 确 率 、 召 回 率 和 FI-Measure 


种 子 点 的 距离 ， 找 到 距离 其 最 近 的 种 子 点 sj， 将 点 gi 和 点 s; ”无 效 ， 不 予 评价 。 


所 在 像素 块 合并 。 最 后 以 合并 后 的 像素 块 的 中 心 点 作为 新 的 表 1 实验 结果 
TTG. 4T FIAR. Tab. 1 Experimental results 
实验 方法 精确 率 可 率 ^ Fl-measure RE 
s;-aremin(Ip. - p. |], -1, e)l,- s 07) ET D T — ET 
其 中 , by 表示 p 的 RGB 颜色 向 量 , p RIBARA p 的 位 置 向 文献 [15] 方 法 (G1) 81.9 22.8 31.6 1.7 
E, 大 为 权重 系数 。 文献 [16] 方 法 (G1) 72.2 35.7 48.5 30.7 
迭代 nn 次 后 , 集合 G 中 每 个 像素 点 对 应 的 像素 块 即 为 最 文献 [17] 方 法 (G1) 71.4 38.3 49.9 34.6 
终 标注 的 街景 变化 区 域 。 本 文 方法 (G1) 75.1 47.6 55.8 10.8 
eg 基准 方法 (G2) — — — 48.6 
3 ”实验 结果 文献 [15] 方 法 (G2)  — 0.9 
3.1 数据 集 文献 [16] 方 法 (G2) TE = E 31.8 
实验 以 校园 为 街景 变化 检测 对 象 ， 招 募 5 名 志愿 者 按照 文献 [17] 方 法 (G2) = - — 30.5 
拍摄 地 点 和 拍摄 姿态 采集 数据 。 拍 摄 姿态 包括 方位 角 和 俯仰 本 文 方法 (G2) 一 = — 2.8 
。 通 过 利用 手机 传感器 ， 数 据 采样 App 能 够 基本 保证 拍摄 结果 显示 ，G1 组 数据 采用 本 文 方法 得 到 了 55.8% 的 F1- 
过 程 中 方位 角 和 俯仰 角 的 偏差 角度 不 大 于 3，GPS 定位 距离 。 measure 值 ， 比 基准 方法 、 文 献 [15] 方 法 、 文 献 [16] 方 法 和 文 


不 大 于 1 米 。 图 像 采 和 集 时 间 跨 度 不 超过 3 个 月 。 实 验 总 共 采  ” 献 [17] 方 法 得 到 的 分 别 增长 了 约 38%、24%、7% 和 6%; 且 本 
集 了 100 组 校园 街景 图 像 , 包含 了 15 个 场景 , 用 于 实验 的 照 。 文 方法 获得 的 平均 错误 率 为 10.8%, 较 基准 方法 、 文献 [16] 方 
片 尺寸 统一 压缩 为 640x480。 在 实验 中 , 100 组 街景 图 像 被 分 。 法 和 文献 [17] 方 法 分 别 下 降 了 约 35%、20% 和 24%， 而 较 文 
为 两 组 。 第 一 组 是 街景 发 生变 化 的 图 像 ， 共 60 对 照片 , 记 为 。” 献 [15] 方 法 增长 了 约 996. G2 组 数据 采用 本 文 方法 得 到 了 2.896 
Gl; 第 二 组 为 街景 未 发 生变 化 的 图 像 ， 共 40 对 照片 ， 记 为 ” 的 平均 错误 率 ， 比 基准 方法 、 文 献 [16] 方 法 和 文献 [17] 方 法 得 
G2. 为 评估 和 对 比方 法 的 效果 , 实验 还 对 数据 集 进行 了 标注 ， 到 的 分 别 下 降 了 约 46%、29% 和 2896, 而 较 文献 [15] 方 法 增长 了 
0( 黑 色 区 域 ) 表 示 非 变化 区 域 , 而 变化 区 域 则 保留 原 有 的 颜色 — 2296. 为 了 更 直接 地 比较 ,图 3~5 是 在 数据 统计 过 程 中 随机 选 


六 息 。 检 测 数 据 主要 采集 了 路 面 和 楼 面 物 品 的 改变 ， 例 如 楼 。” 取 未 参与 训练 的 三 个 图 像 对 作为 案例 进行 可 视 化 比较 。 当 图 像 
装饰、 障碍 物 、 汽 车 的 出 现 /消失 。 对 中 存在 变化 内 容 时 ， 如 图 3 和 4 所 示 ， 分 别 把 方法 检测 结 
32 实验 参数 果 (c)(d)GeJ(D(@ 和 真实 结果 标注 四 进行 比较 , 可 知 本 文 方法 较 对 


经 过 多 次 实验 ， 本 文选 择 了 实验 结果 最 好 一 组 参数 作为 ”比方 法 能 更 精确 地 检测 出 两 幅 街景 图 像 中 的 变化 对 象 。 当 图 像 
文本 的 实验 参数 。 部 分 参数 已 在 文中 直接 给 出 ， 在 这 里 不 再 对 中 不 存在 变化 内 容 时 ， 如 图 5 所 示 ， 本 文 方法 无 错 检 内 容 ， 
阐述 。 在 街景 变化 区 域 提 取 中 , 开 运 算 的 卷 积 核 大 小 为 5x5， 除 文献 [15] 的 其 他 对 比方 法 的 检测 结果 仍 存在 大 片 错 检 区 域 。 
闭 运 算 的 卷 积 核 大 小 为 13x15。 在 变化 区 域 筛选 中 ，SIFT 特 结合 指标 和 可 视 化 结果 可 得 ， 本 文 方法 整体 上 优 于 对 比 
征 点 匹配 参数 与 文献 [26] 中 一 致 ，ORB 相似 特征 点 匹配 的 距 ”方法 , 且 能 更 精确 地 提取 变化 对 象 。 文 献 [15] 方 法 在 两 个 数据 
离 阔 值 设 为 0.9; APAP 算法 匹配 的 比率 阔 值 设 为 0.8， 即 最 。 集 上 获得 了 最 低 的 错误 率 和 较 低 的 召回 率 ， 对 局 部 的 变化 检 
匹配 特征 向 量 距 离 和 次 优 匹配 特征 向 量 距 离 的 比值 小 于 等 。 测 上 比较 准确 ， 但 对 较 大 的 变化 对 象 的 提取 能 力 较 弱 。 文 献 
于 0.8; 除 此 之 外 ,RANSAC 中 数量 最 大 值 的 可 信和 度 设 为 90, [16] 的 方法 虽然 通过 语义 分 割 对 视差 具有 一 定 的 鲁 棒 性 ， 但 
投影 位 置 和 相应 位 的 最 大 像素 距离 设 为 60。 在 变化 区 对 于 图 像 配 准 后 产生 的 扭曲 ， 其 逐 像素 比较 得 到 变化 结果 的 


aj 


域 扩 展 中 ， 超 像素 分 割 法 的 初始 种 子 点 数 ns 为 3000， 权 重 ”方法 无 法 得 到 较 好 的 检测 结果 ， 而 且 错 误 率 会 更 高 ， 在 复杂 

系数 为 1.5， 种 子 点 的 迭代 次 数 n 为 10。 的 街景 环境 下 ， 语 义 分 割 的 效果 不 完全 正确 也 是 原因 之 一 。 

3.3 评价 指标 和 基准 方法 文献 [17] 的 方法 效果 仅 次 于 本 文 的 方法 , 其 提取 的 多 层 不 同 尺寸 
实验 评价 采用 了 4 个 评价 指标 ,分 别 是 精确 率 、 召 回 率 、 的 差异 特征 能 较 好 地 处 理 视差 问题 ， 但 是 细节 部 分 的 处 理 能 力 


Fl-measure 和 错误 率 。 欠 佳 ， 且 误 检 率 较 高 。 而 本 文 借助 配 准 特征 点 对 的 分 布 信息 ， 
精确 率 指 从 ROI 图 像 ( 有 效 检测 区 域 ， 即 两 幅 输 入 图 像 ” 能 较 好 地 处 理由 于 像素 未 能 精确 对 齐 而 产生 的 差异 问题 。 最 后 

的 重 辣 区域 ) 中 实验 检测 到 的 正确 变化 区 域 面积 占 检测 到 的 。” 基于 物体 边缘 的 连续 性 这 一 特性 ， 以 提取 出 具体 的 变化 对 象 为 

变化 区 域 总 面积 的 比例 ; 召回 率 指 从 ROI 图 像 中 检测 到 的 正 。 ”导向 ， 提 高 精确 率 、 召 回 率 和 Fl-measure， 并 减少 错误 率 。 
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